מעבר מדיונים כלליים על תשובות תלמידים לדיונים ממוקדים באמצעות ניתוח למידה ממוחשבת

רחל הס גרין, שי אולשר 37 ע מבוא מעבר מדיונים כלליים על תשובות תלמידים לדיונים ממוקדים באמצעות ניתוח למידה ממוחשבת רחל הס גרין אוניברסיטת חיפה שי אולשר אוניברסיטת חיפה olshers@edu.haifa.ac.il rachely.hg@gmail.com From general discussions about students' answers to focused discussions by automatic learning analytics platform Abstract Rachel Hess Green University of Haifa rachely.hg@gmail.com Shai Olsher University of Haifa olshers@edu.haifa.ac.il This paper describes an analysis of a professional development program for teachers in automatic formative assessment that took place during the past two years. We focused on the use of a formative assessment platform (called STEP) to support mathematical classroom discussion. We will describe the process of using this platform, and the change in using it by novice and advanced teachers during the program. Keywords: Formative assessment, mathematics, learning analytics, professional development. תקציר מאמר זה מתאר ניתוח של השתלמות מורים בהערכה מעצבת ממוחשבת במתמטיקה שנחקרה במהלך השנתיים האחרונות. במיקוד על ניהול דיונים בכיתה המבוססים על מאפיינים המנותחים באופן אוטומטי מתשובות התלמידים באמצעות מערכת המרא"ה להערכה מעצבת במתמטיקה. התחקינו אחר השינוי של המורים בשימוש במערכת לניהול הדיונים בכיתה. מילות מפתח: ניתוח למידה ממוחשבת, הערכה מעצבת, מתמטיקה, הכשרת מורים. דיונים על תשובות של תלמידים בכיתה היא פרקטיקת הוראה מקובלת בכיתות הלימוד במתמטיקה (2009 al, ). Chapin, et במקרים רבים, תשובות התלמידים למשימות שונות מהוות את נקודת המוצא לדיון. תשובות אלו נאמרות לעתים במהלך הדיון עצמו או לחילופין נאספות על ידי המורה לפני הדיון, למשל בעזרת מבחנים או שיעורי בית. חוקרים מאמינים כי דיונים אינטראקטיבים בכיתת המתמטיקה, בהם התלמידים לומדים לפתח דיאלוג המבוסס על רעיונות התלמידים הם בעלי חשיבות גבוהה (2001.(Lampert, תהליך בחירת תשובות התלמידים אשר יעמדו במוקד הדיון נעשה לא פעם באופן אקראי באופן ספונטני, או לחילופין לאחר מעבר על כל המידע הקיים ובחירת דוגמאות אפיזודות מתוכו (על פי קריטריונים שונים כמו שגיאות נפוצות או דוגמה החוזרת על עצמה פעמים רבות). ניהול נכון של דיון יכול לתרום רבות ללמידת התלמידים, ולהבהרת החומר הנלמד. יותר מכך, ניהול הדיון יכול לשמש למטרות הערכה מעצבת. הדיון מאפשר למורה לצבור ידע אשר בעזרתו יוכל לבסס את המשך תהליך ההוראה שלו. כמו כן, במהלך הדיון המורה יכול להבהיר פרמטרים בתהליך ההערכה שלו, ולהדגיש את הדורש הדגשה לדעתו בחומר הנלמד. עם זאת, מורים ניצבים בפני אתגרים כאשר מנסים לנהל שיעורים המבוססים על פתרון שאלות של תלמידים (2001.(Ball, ספר הכנס השלושה-עשר לחקר חדשנות וטכנולוגיות למידה ע"ש צ'ייס: האדם הלומד בעידן הטכנולוגי י' עשת-אלקלעי, א' בלאו, א' כספי, ש' אתגר, נ' גרי, י' קלמן, ו' זילבר-ורוד (עורכים), רעננה: האוניברסיטה הפתוחה

38 ע מעבר מדיונים כלליים על תשובות תלמידים לדיונים ממוקדים באמצעות ניתוח למידה ממוחשבת אנו מאמצים את ההגדרה של בלאק וויליאם להערכה מעצבת, כאוסף הפעולות של המורים והתלמידים עושים במהלך הלמידה המאפשרות למורים ולתלמידים לשנות את תהליך הלמידה על סמך הערכתם את השלבים הקודמים כך שמאפשר שינוי של הלמידה וההוראה Wiliam,) Black & 2009). הערכה זו חיונית על מנת להתאים את ההוראה ללמידה של התלמידים, לשקף למורים את התהליך של למידת התלמידים, וכן עבור התלמידים עצמם, לשקף להם את רמת הבנתם. עם התפתחות הטכנולוגיה, התפתחו גם טכנולוגיות להערכה מעצבת, המאפשרות הערכה עם משוב מידיי. חלק מהטכנולוגיות מכוונות לתלמיד וחלק אף למורה. חלק מהתוכנות והטכנולוגיות, בוחנות נכונות של תשובה מתוך מסיחים או שאלות להן יש תשובה יחידה נכונה. היתרונות בגישה זו היא הקלות והמהירות בה ניתן לבחון את נכונות התשובות של התלמיד. יחד עם זאת, שאלות מסוג זה הנקראות גם שאלות רב ברירה, על פי רוב אינן נותנות מידע על העשייה של התלמיד, ועל תהליך החשיבה שלו אלא על התוצאה בלבד, ואין בהם הסבר או תיעוד לתהליכים שהתלמיד עבר. מעבר לכך, במתמטיקה במיוחד, יש צורך למורים להתחקות אחר תהליך החשיבה של התלמידים. על מנת לפתח חשיבה גבוהה במתמטיקה נמצא במחקר כי יש צורך במשימות עם יותר מתשובה נכונה אחת, או משימות עם ייצוגים שונים (2013 Yerushalmy,.(Naftaliev & משימות מסוג זהו נקראות משימות עשירות במתמטיקה. במחקרים רבים נראתה התועלת של משימות מסוג זה לפיתוח החשיבה, אך הערכה של שאלות אלו, דורשת זמן רב מהמורים המוקדש להערכה של תשובות למשימות אלו, וזהו כנראה אחד הגורמים להמעטה בשילוב של המשימות הללו בעשיה מתמטית. לכן הערכה אוטומטית למשימות מסוג זה, יכולה לאפשר יותר למורים לעשות בהן שימוש (2013 Wiliam,.(Stacey & עם זאת, לא כל המשימות העשירות במתמטיקה ניתנות להערכה בצורה אוטומטית Lee,) Leung & 2013) ולקביעת ציון, אך יחד עם זאת יש התפתחות גדולה וחשוב לקדם ולפתח את מרחב האפשרויות של שאלות הניתנות לערכה אוטומטית. מערכת המרא"ה (הערכה מעצבת לראות את התמונה), המפותחת בחממ"ה המרכז לחדשנות ומחקר בחינוך מתמטי באוניברסיטת חיפה, משלבת פלטפורמה לפיתוח של משימות עשירות במתמטיקה, להן יותר מתשובה נכונה אחת בדרך כלל, וייצוגים רבים ושונים לכל בעיה, והן בדיקה של המשימות באופן אוטומטי (2016 Chazzan,.(Olsher, Yerushalmy & מלבד בדיקת הנכונות של הגשות התלמידים, המערכת מאפשרת לנתח הגשות של כיתה שלמה לפי מאפיינים של התשובות של התלמידים, שאינם נוגעים רק לנכונות התשובה. סוגים נוספים של משימות עשירות במתמטיקה, שהמערכת מאפשרת להעריך באופן אוטומטי, הן משימות בניה של דוגמאות, בהן התלמידים מתבקשים לבנות דוגמה המקיימת תנאים מסוימים או לבנות דוגמה הסותרת טענה מסוימת Nagari-) Yerushalmy, 2015.(Haddif & מלבד זאת המערכת נעזרת בז'אנר, נפוץ בהערכה מעצבת, שמכיל משימות רב ברירה, אך מלבד הבחירה של תשובה, ניתן גם להוסיף יישומון דינמי המסביר את הבחירה ונבדק בצורה אוטומטית. משימות המבקשות ליצור דוגמאות, מאפשרות לבחון הבנה של אובייקטים מתמטיים ויכולים להצביע על קשיים וחוסר הבנה (2007 Leikin,.(Zaskis & מערכת זו מאפשרת למורה להבין את הכיתה ולקבל ניתוח של תשובות התלמידים בזמן אמת. בנתונים אלו ניתן להשתמש להערכה מעצבת בלבד, על מנת להבחין בקשר בין תהליכי ההוראה והלמידה, וניתן אף להיעזר במערכת לניהול דיונים בכיתה. בעבודה זו נתמקד בתוכנית הטמעה של מערכת המרא"ה ונבחן כיצד המורים משתמשים במאפיינים השונים של הגשות התלמידים, לניתוח הגשות הכיתה ולניהול דיון מושכל על תשובות התלמידים. סביבת המחקר סביבת המחקר כללה מורים משלושה סבבי השתלמויות שנערכו במשך שנתיים, במסגרת השתלמות בהערכה מעצבת ממוחשבת למורי מתמטיקה לתיכון המלמדים 5-4 יחידות לימוד. במהלך ההשתלמות, נדונו תאוריות על הערכה מעצבת, הרציונל לשימוש, ופרקטיקות לשימוש בכיתה. מלבד ההתנסות והלימוד בשימוש במערכת הושם דגש על שימוש במאפיינים המנותחים באופן אוטומטי של התשובות (לכל שאלה מאפיינים הייחודיים לה הקשורים למטרת ההוראה). במהלך שנתיים של השתלמות, יותר מ- 40 מורים התנסו במערכת תחילה בהשתלמות ולאחר מכן בכיתותיהן. המורים שהשתתפו בהשתלמות הגיעו מאזורים שונים בארץ, והיו בעלי אוריינטציה טכנולוגית, אך טרם התנסו בהערכה מעצבת ממוחשבת.

רחל הס גרין, שי אולשר 39 ע פעילויות ההערכה בסביבת המרא"ה שסביבה נערכה ההשתלמות, הינן פעילויות משולבות בדיאגרמות אינטראקטיביות שמאפשרות יותר מתשובה נכונה אחת לכל משימה, ובכך מאפשרת מרחב הגשות עשיר של תלמידים, כמו לדוגמה במשימה המתוארת באיור 1. איור 1. מימין השאלה עם האיור הדינמי להגשה, ומשמאל ממשק מורה בו נראות הגשות התלמידים הגשות התלמידים מסווגות על פי מאפיינים הקבועים לכל משימה. למשל, עבור משימה המתוארת באיור 1, ישנם המאפיינים המתוארים באיור 2 המותאמים לה באופן ספציפי. באופן כללי, מאפיינים המותאמים למשימה מתחלקים לשני סוגים: מאפיינים הקשורים לנכונות של התשובה וכוללים בין השאר טעויות נפוצות (לדוגמה: תשובה נכונה, תשובה חלקית, טעות נפוצה) וכן מאפיינים העוסקים באובייקטים המתמטיים המופיעים בתשובה (לדוגמה: פונקציה רציפה, נקודת אי רציפות). איור 2. המאפיינים של תשובות התלמידים (לשאלה המוצגת באיור 1) המנותחים באופן אוטומטי מלבד הניתוח לפי מאפיינים שונים, ניתן לראות דיאגרמת ואן diagram) (Venn של התפלגות התשובות של התלמידים בין המאפיינים השונים, או לתאר את המאפיינים וכמות התשובות השייכות לכל מאפיין בעזרת גרף עמודות.

40 ע מעבר מדיונים כלליים על תשובות תלמידים לדיונים ממוקדים באמצעות ניתוח למידה ממוחשבת במהלך ההשתלמות המורים התנסו בשימוש במערכת כתלמידים וכמורים, והתנסו בשימוש במאפיינים של התשובות, לצורך ניתוח למידה. המורים התנסו בשימוש במשימות הקיימות במערכת, וחלקם אף פיתחו משימות חדשות שנכנסו למערכת. אחת ההתנסויות במהלך ההשתלמות הייתה התנסות במיקרו-הוראה teaching) Fernández,) (micro 2005) של ניהול דיון על מרחב הגשות של תלמידים למשימה מתוך אוסף פעילויות ההערכה הקיים במערכת (2003 Leikin,.(Zaslavsky, Chapman, & במאמר זה נרחיב על ההתנסות של שימוש במאפיינים של התשובות של התלמידים במהלך סדנת מיקרו הוראה: נבחן את ההתנסות של המורים במהלך מיקרו הוראה, בשימוש בנתונים בניהול דיון, ובשימוש במאפיינים המערכת מציעה לניתוח תשובות התלמידים. מתודולוגיה איסוף הנתונים מההשתלמות ופעילויות ההטמעה בכיתות נעשה בעזרת הסרטה של כל פגישות ההשתלמות בשתי מצלמות וידאו, מילוי של שאלונים על כל הפעלה של המערכת בכיתה, וראיונות עם מורים נבחרים. בנוסף לעתים נערכו תצפיות על מורים בכיתותיהם במהלך השימוש במערכת. נעשה ניתוח של שימוש במערכת לצורך דיון על פי המידע שנאסף מהווידאו של ההשתלמויות, בעזרת ניתוח וידאו וניתוח שאלונים, בכדי לבחון את אופן השימוש במאפיינים במהלך דיון בכיתה. כמו כן, מהשאלונים והראיונות שנאספו נותח אופן ותדירות השימוש במאפיינים, ונבחנו אילו מאפיינים היו בשימוש בתדירות גבוהה יותר. על פי הניתוח נבנה מודל של שימוש במערכת על ידי מורים מתחילים המתנסים במערכת בשנה הראשונה וכן מורים מנוסים במערכת המתנסים בה כבר שנה שניה, ואף מפתחים בה משימות להערכה מעצבת. ממצאים מתוך הממצאים נראה שיש שוני בשימוש וברציונל של שימוש במאפיינים לצורך מיקרו הוראה בין מורים המנוסים במערכת לבין מורים בתחילת דרכם בשימוש במערכת. המורים שהשתתפו בהשתלמות בשנה הראשונה, כשנתבקשו לנהל דיון על הגשות של תלמידים למשימה מסוימת במסגרת פעילות מיקרו הוראה, כמעט ולא השתמשו בכלים האוטומטיים לניתוח המאפיינים אלא התייחסו לדוגמה ספציפית או בנו מערך הוראה הקשור לשאלות שנשאלו ולא לתשובות התלמידים שניתנו. לדוגמה, אסף (שם בדוי) מורה שהתנסה במהלך ההשתלמות במיקרו הוראה, בחר להציג פעילות בנושא פונקציית מנה. בפעילות הערכה זו יש חמש משימות, המורה הציע לעשות את שתי המשימות הראשונות בכיתה, ולהשאיר שתי משימות לעבודת בית (המשימות לבית מתוארות באיור 3).. איור 3. משימות ג', וד', גרפי הפונקציות נחתכים בנקודה על ציר ה- X

רחל הס גרין, שי אולשר 41 ע לאחר מכן, אסף רצה לפתח דיון על הנושא של פונקציית מנה שבה המונה והמכנה מתאפסים באותו מקום (כמו באיור 3 השמאלי, בנקודה עבורה 6=x). אסף ציין "אני לא נכנס למאפיינים האוטומטיים או משהו כזה, אלא מפתח דיון על התופעה המתמטית של פונקציית מנה בה המונה והמכנה מתאפסים במקום זהה". שירה, מורה אחרת שהשתתפה בהשתלמות, הציעה להשתמש בתופעה המתמטית כדי לדבר על שאיפה של פונקציה לאינסוף בנקודה סופית. שירה הציעה להתבונן במרחב ההגשות של התלמידים, ולראות מי טעה ומי לא. המורה הציע להשתמש בכלי של שינוי הרזולוציה כדי להבין את השאיפה לאינסוף "כדאי להשתמש בזום אין in) (zoom כדי להבין את השאיפה לאינסוף, זה משהו שקשה מאוד לתלמידים". כלומר שירה עברה לפן אחר של שימוש בטכנולוגיה שלא קשור להערכה של השאלה הספציפית הזו. באופן כללי, מהניתוח של האפיזודות של מיקרו הוראה בהשתלמות, נראה כי הדרך בה נעשה שימוש בנתונים במהלך ההפעלות הראשונות היה התמקדות בנכונות או אי נכונות של התוצאות של התלמידים. לעתים המורים התייחסו להיבטים ורעיונות מתמטיים שעלו מהשאלה עצמה. מלבד זאת, היו מורים שהתמקדו ב"דוגמאות קיצון" כלומר בדוגמאות שהן ממד הבעיה יורד, דבר שהשתקף אצל רוב המורים שלקחו חלק פעיל בסדנת המיקרו הוראה. לעומת זאת, מורים מנוסים, שהשתלמו בשימוש והפעלת המערכת בשנה שעברה, או לפני שנתיים, התייחסו לכלל ההגשות של התלמידים ועשו שימוש במאפיינים המוצעים על ידי המערכת כדי לעורר דיון בכיתה. הם התמקדו במאפיין מסוים אחד או לכל היותר שני מאפיינים וביססו עליהם דיון כיתתי אינטראקטיבי. לדוגמה, עבור השאלה בנושא של משיק בשתי נקודות, המופיעה באיור 1 ו- 2. המאפיינים בהם השתמשו מורים מנוסים היו, יותר משתי נקודות השקה, סקיצה מונוטונית, האם הסקיצה היא פונקציה. בעזרת מאפיינים אלו המורים ניהלו דיון, על הקשר בין תנאים שונים בתוך שאלה והתייחסות להגדרות של מושגים במהלך תשובה לשאלה. שימוש במאפיינים נתן למורים כלים להתייחסות לקבוצות ספציפיות של תשובות, וניתוחים של הכיתה ברמת הכלל. מורים נעזרו בכך על מנת לחשוף דרכי חשיבה על קשרים בין מושגים ואובייקטים מתמטיים. כמו כן, השימוש במאפיינים האוטומטיים לניתוח הגשות התלמידים, איפשר להתייחס לקבוצות מסוימות של הגשות באופן כוללני, ואף במקרים מסוימים, להתייחס למאפיין שלא נמצא כלל באף אחת מההגשות. דיון פרקטיקת ההוראה של ניהול דיון בעזרת המאפיינים המסווגים באופן אוטומטי, הינה פרקטיקה חדשה הדורשת תהליך של הטמעה והתנסות על מנת ללמוד אותה. הלימוד מתפתח על ידי התנסות ושימוש במאפיינים השונים. במחקר, נראה כי המעבר לשימוש במאפיינים האוטומטיים לוקח זמן ומתפתח במהלך השימוש עם המערכת. כמו כן, נראה כי מורים שונים משתמשים במאפיינים שונים, וריבוי המאפיינים מאפשר למורה להתייחס לתופעה מסוימת בכיתת הלימוד. בספרות מתואר כי מורים בוחרים דוגמאות לדיון באופן לא שיטתי. כדוגמאות אפיזודות או מתייחסים לשגיאות Stacey) al., 2009.(et במחקר זה נראתה הוכחת היתכנות לתהליך של מורים לעבר התייחסות שיטתית למאפיינים של הבעיה המזוהים בהגשות התלמידים באופן אוטומטי על מנת לנהל דיון בכיתה על הגשותיהם. הדיון המבוסס על מאפיינים המזוהים באופן אוטומטי, מתייחס במבט כולל להגשות התלמידים, ומאפשר לראות את האינטראקציה בין ההוראה והלמידה בכיתה. השימוש במאפיינים נקנה במהלך התנסות ועל ידי הבנה ושימוש בתרומה של ההבנה של הניתוח האוטומטי של תשובות התלמידים. דבר זה לוקח זמן של התפתחות וניסיון של עבודה עם הפרקטיקה הזו. ניתוח של מאפיינים לשאלות עם תשובות מרובות, יכול לאפשר למורים לראות את תמונת הכיתה שלהם, ולתת הערכה טובה יותר ולשפר את הוראתם. ביבליוגרפיה Ball, D. L. (2001) Teaching, with respect to mathematics and students. In Wood, T., Nelson, B. S. & Warfield, J. (Eds.) Beyond Classical Pedagogy: Teaching Elementary School Mathematics, pp. 11-22. Mahwah, NJ: Lawrence Erlbaum. Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5-31.

42 ע מעבר מדיונים כלליים על תשובות תלמידים לדיונים ממוקדים באמצעות ניתוח למידה ממוחשבת Chapin, S. H., O'Connor, C., O'Connor, M. C., & Anderson, N. C. (2009). Classroom discussions: Using math talk to help students learn, Grades K-6. California: Math Solutions. Chazan, D. (2000). Beyond formulas in mathematics and teaching: Dynamics of the high school algebra classroom. New York, NY: Teachers College Press. Fernández, M. L. (2005). Learning through microteaching lesson study in teacher preparation. Action in Teacher Education, 26(4), 37-47. Leung, A. & Lee, A. M. S. (2013) Students geometrical perception on a task-based dynamic geometry platform. Educational Studies in Mathematics 82(3), 361-377. Naftaliev, E. & Yerushalmy, M. (2013) Guiding explorations: design principles and functions of interactive diagrams. Computers in the Schools 30(1-2), 61-75. Nagari-Haddif, G. & Yerushalmy, M. (2015) Digital interactive assessment in mathematics: the case of construction e-tasks. In Krainer, K. & Vondrová, N. (Eds.) Proceedings of the Ninth Congress of the European Society for Research in Mathematics Education, pp. 2501-2508. Prague, Czech Republic: ERME. Olsher, S., Yerushalmy, M., & Chazan, D. (2016). How Might the Use of Technology in Formative Assessment Support Changes in Mathematics Teaching?. For the Learning of Mathematics, 36(3), 11-18. Stacey, K., Price, B., Steinle, V., Chick, H., & Gvozdenko, E. (2009). SMART assessment for learning. In Conference of the International Society for Design and Development in Education. Cairns, Australia, September 28 October 1. Stacey, K. & Wiliam, D. (2013) Technology and assessment in mathematics. In Clements, M. A., Bishop, A. J., Keitel, C., Kilpatrick, J. & Leung, F. K. S. (Eds.) Third International Handbook of Mathematics Education, pp. 721-751. New York, NY: Springer. Zazkis, R., & Leikin, R. (2008). Exemplifying definitions: a case of a square. Educational Studies in Mathematics, 69(2), 131-148. Zaslavsky, O., Chapman, O., & Leikin, R. (2003). Professional development of mathematics educators: Trends and tasks. In Second international handbook of mathematics education (pp. 877-917). Springer: Netherlands.